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АНАЛ! МТУПЧНИХ ПРОЯВВ НА ОБЛИЧЧЕ ЛЮДИНИ 


В работе описаны шаги наполнения библиотеки видеофрагментов мимических выражений. С 
помощью алгоритмов компьютерного зрения в потоке видео были получены числовые данные, 
описывающие изменение состояния мимических проявлений во времени. Для анализа полученных 
данных было предложено использовать два метода — однослойный перцептрон и перцептрон в 
комбинации с интегральными преобразованиями: Карунена-Лоэва, сингулярным разложением и 
преобразованием Фурье. Проведен анализ работы каждого алгоритма на тестовых выборках, 
содержащих от 3 до 16 классов мимических выражений. Предложены решения, которые могут как 
повысить качество анализируемых данных, так и улучшить работу алгоритмов идентификации 
мимических выражений. 
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Введение 


Мимика — один из каналов передачи информации в разговорной речи и 
жестовом языке. В связи с интенсивным развитием средств компьютерной обра- 
ботки данных особый интерес в изучении мимики представляет задача класси- 
фикации мимических выражений по базовому набору мимических выражений. 
Особенно она актуальна для задачи автоматического транскрибирования мими- 
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ческих проявлений на видеофрагментах, содержащих жестовую речь. Мимика 
изучается исследователями жестового языка наравне с мануальными проявле- 
ниями, поскольку содержит грамматические элементы жестовой речи, которые 
передаются в разговорной речи с помощью интонации и других элементов [1-3]. 

Ранее задача получения данных была решена в исследовании [4] и [5]. Для 
этого использовались оптические маркеры, положение которых на лице 
отслеживается с помощью алгоритмов компьютерного зрения. Наличие 
инструментария для получения данных позволило приблизить решение задачи 
классификации, однако сама задача поиска пространства признаков и разделения 
мимических проявлений, даже на основе априорного знания о разделения 
мимических выражений на классы, является нетривиальной. 

Исследователи подходят к задаче классификации, применяя различные 
методы, которые основаны на выделении особых областей на лице (глаза, брови, 
нос, рот) с помощью фильтров Габора [5], получении коэффициентов разложения 
дискретного косинусного преобразования [6] и характеристических векторов для 
каждого из изображений, затем полученные вектора анализируются с помощью 
нейросетей. При использовании однослойных нейросетей (однослойного 
перцептрона) точность распознавания на контрольной выборке составляла 85% 
[7]. При увеличении количества слоев нейронной сети достигалась точность от 
83,5% до 90% [5,6]. С применением гибридной многослойной эволюционной 
нейросети (НЕММ) достигалась точность от 92,3% [6]. В некоторых 
исследованиях анализировались тосар-данные, полученные с помощью системы 
захвата движения на основе масок [8, 9]. В первом исследовании [8], на 
многослойной нейросети достигался результат от 76% (для 3 классов мимических 
выражений) до 81% (7 классов); во втором [9] от 63,9% на однослойной и от 
66,3% на многослойной. 


Постановка задачи 


Необходимо разработать алгоритм для решения задачи классификации 
мимических выражений на ограниченном наборе базовых мимических 
выражений. 
Для того чтобы получить и апробировать такой алгоритм, в первую 
очередь, необходимо решить следующие задачи: 
® определить, какой набор мимических проявлений и микровыражений возможно 
выделить, используя инструментарий получения числовых данных; 

® определить, какие данные можно использовать для задачи идентификации 
мимических проявлений; 

® выбрать преобразования, которые позволяют переходить от числовых данных в 
пространство, в котором эти данные могут быть разделимы; 

® построить обучающую и тестовую выборки, полученные на основе числовых 
данных о мимических проявлениях. 


Основные сведения о мимических проявлениях 


Под мимическим проявлением подразумевается некоторая мимическая 
активность на лице, связанная с внутренними переживаниями индивида или 
выражающая некоторое его отношение к какой-то ситуации [10]. 

При исследовании лица выделялось болышое разнообразие мимических 
выражений, которые пытались упорядочить определенным образом, например, 
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построив некую иерархию формирования таких проявлений [10-13]. Отмечается, что 
большая часть эмоциональных состояний человека и сопровождающих их мимических 
проявлений имеют некую базовую эмоцию и сопровождающее ее мимическое 
выражение, таким образом, все проявления являются производными от базовых. 

Основным различием между мимическим проявлением, микровыражением и 
смесью микровыражений является одновременность отдельных компонент в 
проявлениях и наличие связи мышечной активности с изменением нервной 
активности. Например, при проявлении состояния эмоции радости индивид будет 
демонстрировать высокую мозговую активность, а при проявлении состояния 
усталости, напротив, мозговая активность будет низкой [11]. 

Мимические проявления отличаются по темпу и степени проявления. Темп 
проявления как, например, в мимическом выражении «испуг» и «удивление» или 
«улыбка» и «смех» может быть различным. Различается и сила проявления. 

Наличие таких особенностей в мимических проявлениях усложняет задачу 
идентификации состояния лица и, тем более, разделения слабых и сильных 
проявлений, как визуально, так и с помощью алгоритмов классификации. В 
данном исследовании будет рассматриваться ограниченный набор мимических 
выражений, содержащий представителей базовых мимических выражений с 
разной степенью проявления. 


Библиотека мимических проявлений 


В работе [4] была выработана методология наполнения базы данных (БД) 
видеофрагментов мимических проявлений в жестовой речи и ее структура. Набор 
мимических выражений, содержащийся в данной БД, был сопоставлен с набором 
наиболее часто встречающихся мимических выражений в разговорной речи [14]. 
На основе сопоставления представителей из мимических выражений, содер- 
жащихся в разговорной и жестовой речи, был получен сокращенный набор из 58 
мимических выражений. Затем, полученный набор, на основе базовых 
мимических выражений, которые рассматривались в исследованиях [10-14], был 
разделен на 16 классов: «боль», «широкая улыбка», «шок», «презрение», «отвра- 
щение», «гнев», «грусть», «радость», «интерес», «надежда», «обеспокоенность», 
«озадаченность», «сосредоточенность», «недовольство», «скука», «удивление». 

Для каждого из представителей были сформированы текстовые описания, 
описывающие ситуацию, при которой возникает данное мимическое выражение и 
вид изменений областей лица, которые при этом наблюдаются, а также указан 
схематический пример лица человека [14], с соответствующим мимическим 
проявлением. 

На основе полученных текстовых описаний был сформирован сценарий 
записи видеофрагментов. Данный сценарий предусматривал запись для несколь- 
ких актеров последовательности из 2-4 мимических выражений, по 2 примера 
каждого мимического выражения от состояния покоя до максимума проявления и 
до состояния покоя. Перед записью актеру показывались примеры мимических 
выражений, которые будут записываться, и области лица, которые формируют 
данное мимическое выражение. После чего актер показывал указанную 
последовательность. Всего было получено 42 сценарных видеозаписи, 
содержащие 332 примера мимических выражений, записанных для 3 разных 
актеров. Затем, полученные примеры были верифицированы экспертом. Так из 
332 примеров мимических выражений было верифицировано 187 примеров, 
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которые и сформировали библиотеку мимических проявлений. Кадры из 12 видео 
с мимическими выражениями, вошедшими в библиотеку видеофрагментов, 
представлены на рис 1. 


Рис. 1. Мимические выражения: (а, в, д) «грусти», (6, г, е) 
«обеспокоенности», (ж, и, л) «надежды» и (3, к, м) «удивления» у разных актеров. 


Получение числовых данных в видеопотоке 

Общие сведения о методах получения числовых данных. Методы получения 
числовых данных в видеопотоке можно условно разделить на две группы: 
-методы получения данных о признаках на основе видеопотока (ГРеабаге ехтасНоп); 
-методы получения данных на основе информации о трехмерной структуре 
исследуемого объекта (34-тезВ сарге). 

В работе [15] были рассмотрены методы из первой группы, включающие в 
себя методы идентификации, отслеживания признака и реконструкции положения 
этого признака в пространстве относительно других признаков. 

Для получения данных используются вспомогательные элементы для 
выделения признаков — оптические датчики (маркеры) [16]. Особенностью таких 
датчиков является то, что они располагаются в определенных ключевых точках 
лица, в которых наблюдается максимум интенсивности мимических проявлений 
[5]. Кроме того, с помощью параметрических моделей [15] можно получить 
переход между сложной моделью, содержащей трехмерную структуру (набор 
состояний трехмерной сетки в разные моменты времени) к более простой, 
содержащей набор ключевых точек (набор маркеров). По сравнению со второй 
группой методов первая позволяет работать с меньшим объемом данных 
(используя свойства параметрической модели) и при меньшей размерности 
данных (2 координаты вместо 3). 

Основой технологии является: камера или набор видеокамер (обычно - 2-3 
стационарных или одна, закрепленная на голове актера), с помощью которой 
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получаются видеофрагменты, и алгоритмы компьютерного зрения для получения 
траектории движения оптических датчиков. 


Выбор минимального набора маркеров, используемых для получения 
числовых данных 


В работе [5] было установлено, что маркеры в системе захвата мимических 
проявлений с использованием технологии захвата движения (тосар) распола- 
гаются в областях лица, отвечающих за изменение тех или иных мышц, а также 
элементов движения, используемых в системе описания мимических проявлений 
ЕАС$ [17]. 

Используя свойства мышечной структуры и систем координат 
параметрической модели лица, полученные в работе [5], можно утверждать о том, 
что какой-либо из признаков можно представить в пространстве локальных 
координат каждого из признаков параметрической (анимационной) модели. 

Для анализа мимических проявлений предложено использовать набор 
маркеров, полученный в работе [5] (рис. 2). 


‚ Зона бровей (лба) 
‚ Зона глаз (век) 


.Зона щек 

‚ Зона носа (крыльев носа) 
* Маркер корректировки 

® Зона губ и подбородка 


Рис. 2. Расположение маркеров на лице актера 


Получение числовых данных 


В работе [5] подробно рассмотрены шаги получения числовых данных с 
использованием алгоритмов компьютерного зрения. По сравнению с предложен- 
ным ранее алгоритмом, были внесены изменения, которые включают двухпро- 
ходный алгоритм устранения вибрации камеры. Эти два шага расположены как на 
этапе после записи (получения видеофрагментов), так и после обработки 
видеозаписей алгоритмами компьютерного зрения. 

Два этапа двухпроходного алгоритма устранения колебания видеокамеры 
включают в себя: 
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-обработку изображения с помощью алгоритма цифровой стабилизации 
[18]; 

-обработку полученных данных фильтром Калмана [19] со сглаживанием 
всплесков длительностью менее 200 мс (величина получена экспериментально). 

Указанные шаги реализованы в виде модулей на языке С+- в среде М1сгозой 
У1зна| 5410 с использованием библиотеки ОрепСУ [20] и в среде РуСвагт на 
языке Руоп соответственно. 

Кроме изменений, касающихся программного обеспечения, которое 
использовалось в экспериментах, также было изменено аппаратное обеспечение, 
использовавшееся для записи видео. 

Было предложено снимать видео крупным планом, с закреплением 
видеокамеры на специальном шлеме (рис 3). 


2 


и 


он 


Рис. 3. Расположение видеокамеры относительно плоскости лица 


Для записи использовалась видеокамера с постоянным фокусным 
расстоянием Не\ен-РасКага АсНоп Саштега 150, с разрешением ЕиЙНО 
(1920х1080), с аппаратным сжатием в компрессор Н.264. 

Камера закреплялась неподвижно относительно головы и на одинаковых 
расстояниях относительно плоскости лица для всех актеров, которые участвовали 
в записи видео. Расстояние от камеры до плоскости лица было подобрано 
экспериментальным путем; при таком расстоянии исчезали искажения 
(сферическая аберрация), связанные с широким углом камеры. 

Видео, полученное с камеры, преобразовывалось в формат Моноп ЛРЕС с 
помощью программного обеспечения ЕР трез/аусопу [21], однако, в дополнение к 
этому, видео дополнительно обрезалось и разрешение уменьшалось до 360х540 
(это сделано для того, чтобы ускорить обработку полученного видео алгоритмами 
компьютерного зрения). 

Во время обработки данных была обнаружена возможность получения 
числовых данных, не используя оптические маркеры. В области рта, в области 
бровей и некоторых других частей лица с ярко выраженными контурами стало 
возможным получать числовые данные, используя в качестве ключевых точек 
элементы лица, формирующие геометрические признаки типа «углы» и «концы 
отрезков». Очевидно, что сказалось как высокое качество исходных данных (по 
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сравнению с предыдущими исследованиями), так и использование более новой 
версии гибридного алгоритма ЗАО-КГТ в программном обеспечении В1Тепаег [22], 
применявшегося ранее. 


Анализ мимических проявлений 


Данные об объекте. Рассмотрим визуализацию графиков изменения одного 
из мимических проявлений между состояниями покоя с переходом через 
состояние насыщения (рис 4). Каждой из кривой соответствует изменение одной 
из координат оптического маркера относительно состояния покоя. На рис 4 
приведен образец сигнала, на котором отмечены изменения координат Х 
маркеров № 4,5,6,8,9,10,12 и координаты У маркеров № 9,10,11,12,17 и 18. 
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Рис. 4. Расположение активности разных маркеров в сигнале 


Как видно из рис. 4, графики представляют собой непериодические им- 
пульсные сигналы. Каждый из импульсов в примере графика движения опти- 
ческого маркера, имеет различные амплитуды и длительности. Кроме того, все 
видеофрагменты и файлы данных имеют различное количество отсчетов (кадров). 

Для задачи анализа мимических проявлений, необходимо определить, что 
есть элемент данных. Элементом данных может выступать как совокупность всех 
данных, содержащих траектории движения маркеров (рассматриваем один файл с 
числовыми данными как объект) или отдельно взятые координаты отдельных 
маркеров из полученных данных (например, группу маркеров), так и полученный 
путем усреднения группы элементов, а также часть импульса (фронт, спад, 
фрагмент сигнала в состоянии насыщения, мгновенное значение в какой-то 
момент времени). 

Зная, что следует выделять в сигнале, как полезную информацию, можно 
выбрать метод, который наиболее подходит для решения задачи с поставленными 
условиями. 


Выбор метода идентификации мимических проявлений 


Для задачи идентификации предложено применить два различных метода. 
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В первом случае, когда анализируется элемент данных типа «единичный 
отсчет» было предложено применить однослойный перцептрон. 

Во втором случае было предложено использовать различные интегральные 
преобразования (быстрое преобразование Фурье (ЕЕТ) [23], сингулярное 
разложение (ЗУБ) [24], преобразование Карунена-Лоэва (КТТ) [25] и дискретное 
косинусное преобразование (ОСТ) [26]) в связке с однослойным перцептроном, 
который использовался для построения разделяющей гиперплоскости в 
пространстве признаков каждого из преобразований. Для проверки работы 
методов результаты сравнивались с результатами работы алгоритма перцептрона, 
когда сигнал целиком использовался для обучения, без промежуточного 
преобразования. 


Подготовка данных для однослойного перцептрона 


Для анализа разных по величине проявления сигналов у разных актеров, 
было предложено ввести параметр — относительную величину отклонения 
маркера, полученную на основе величины абсолютного проявления для каждой из 
координат оптических маркеров для каждого из актеров и отклонений положения 
маркера от состояния покоя. Для каждого из маркеров и для каждого из актеров 
введена универсальная шкала, с градацией проявлений от -1 до 1. 

Данный шаг необходим, так как для каждого из актеров величина 
отклонений каждого из маркеров в абсолютном выражении различная, что может 
повлиять на значение функции активации для мимических проявлений с малой 
амплитудой и возможности сравнения данных одинакового масштаба. 

После получения данных в таком формате, были сформированы обучающие 
и контрольная выборки. Для этого для всего набора из 187 мимических 
проявлений были получены интервалы активности мимических проявлений, 
которые включали в себя только те отсчеты, в которых все маркеры пребывали в 
состоянии насыщения. 

На основе интервалов активности данные разбивались в соотношении | к 5 
(5 частей на обучение, 1 часть на проверку), причем отбирались не все данные, а 
только каждый третий элемент данных (отсчет). Полученная обучающая и 
проверочная выборки формировались в виде двух отдельных текстовых файлов, 
которые затем зачитывались алгоритмом во время этапа обучения и проверки. 

Было отдельно сформировано 2 разных набора обучающих и тестовых 
примеров для случая 2 базовых мимических выражений (размер выборки 
составил около 800 примеров) и для 5 базовых выражений (размер выборки 
составил около 1700 примеров). Такое различие размеров выборок объясняется 
тем, что во второй набор вошли примеры мимических выражений, 
представителей которых не было в 1 наборе. 


Подготовка данных для интегральных преобразований 


В случае применения интегральных преобразований, окно должно быть 
фиксированной формы, а сигнал отцентрирован относительно окна. Это 
необходимое требование, т.к. сигналы с разным коэффициентом заполнения, 
разной фазой и разной длительностью будут иметь отличающиеся коэффициенты 
интегральных преобразований. 

Данные, полученные на этапе «подготовка данных для однослойного 
перцептрона», приводились к одинаковой длине путем сжатия или растяжения 
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сигнала каждой из координат каждого маркера до длины 12,30,60 и 120 отсчетов. 
Вычисление значений для сигнала новой длины выполнялось с кубического 
сплайна, построенного на исходных сигналах. Также были сформированы 
сигналы, полученные путем отсечения от сигнала первых 60 отсчетов и сигналы 
на основе единичных отсчетов. 


Реализация инструментария анализа полученных числовых данных 


Для реализации инструментария анализа были разработаны два модуля в среде 
ОМИ Освуе [27]. Первый модуль реализует обучение и тестирование однослойного 
перцептрона на базе логистической регрессии. Второй модуль реализует 
формирование собственных векторов преобразования КГТ на основе 
анализируемого сигнала, на основе коэффициентов разложения ЗУ каждого из 
сигналов и на основе коэффициентов разложения сигнала с помощью ЕЕТ или ОСТ, 
а также собственных векторов преобразования ЗУ на основе анализируемого 
сигнала; визуализацию данных в пространстве признаков данного преобразования. 

В первом модуле, по количеству уникальных вхождений в файл, содержащий 
столбец значений функции, вычислялось количество классов в обучающей выборке и 
выполнялось обучение логистической регрессии в реализации 1 против всех (в данном 
случае 1 против 1 и 1 против 4). Полученные весовые коэффициенты использовались 
для проверки алгоритма обучения на основе логистической регрессии; в качестве 
результата использовалась величина процента правильно определенных файлов из 
обучающей и тестовой выборок. При наличии примеров, которые неправильно 
определялись алгоритмом, возвращались номера (массив номеров) файлов для 
обучающей и тестовой выборки. 

Во втором программном модуле файл, содержащий обучающую выборку (в 
зависимости от данных, это мог быть как сам сигнал, так и отсчеты сигнала и 
коэффициенты одного из интегральных преобразований), записывался в матрицу 
прямоугольного вида, где вектор-столбец соответствовал одному примеру из 
обучающей выборки. Значение длины вектора-столбца было кратно 36 и 
количеству используемых отсчетов. Для 12, 30, 60 и 120 она составляла 432, 
1080, 2160, 4320 (для исходного сигнала и/или коэффициентов разложения 
ЕЕТ/ОСТ), 1296 (коэффициенты разложения ЗУ) элементов. 

В случае вычисления преобразования КГТ, для всей обучающей выборки, 
вычислялось среднее значение. Полученное среднее вычиталась из всех векторов- 
столбцов, соответствующих обучающим примерам. 

На основе полученной матрицы вычислялись коэффициенты интегрального 
преобразования Карунена-Лоэва. Для этого вычислялись собственные вектора ковари- 
ационной матрицы. Коэффициенты преобразования Карунена-Лоэва получались как 
произведение ковариационной матрицы, деленной на квадратный корень по модулю 
диагональной матрицы собственных чисел ковариационной матрицы. 

В случае вычисления преобразования ЗУО, для всей обучающей выборки, 
вычислялись три матрицы разложения ЗУО — матрица собственных чисел, 
матрица собственных векторов и матрица коэффициентов. 

Полученные коэффициенты одного из преобразований или исходные 
сигналы использовались для обучения однослойного перцептрона, построенного 
аналогично тому, что использовался в первом модуле. Логистическая регрессия 
обучалась в реализаций: 1 против всех для случая 1 против 2 (3 класса: 
«позитивные», «негативные» и прочие мимические выражения, 1 против 4 (5 
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классов — «радость», «грусть», «удивление», «злость» и «усталость»), 1 против 13 
и 1 против 15 (сокращенный и полный наборы базовых мимических выражений). 


Результаты экспериментальной проверки алгоритмов 


В результате экспериментальной проверки алгоритмов (см. табл 1) на 
выборках, содержащих представителей разных классов мимических выражений, 
получен результат для однослойного перцептрона для наихудшего случая порядка 
98,7%. Для случаев 1 против 13 и 1 против 15 были получены неудовлетво- 
рительные результаты, что требует увеличения объема обучающей выборки для 
данной реализации алгоритма классификации и изменения архитектуры и типа 
классификатора. 


Таблица 1. Точность идентификации примеров для различных реализаций 
для 3 классов мимических выражений 


Реализации и число отсчетов в сигнале 
Метод Сигнал целиком 1 отсчет 
432 | 1080 2160 4320 36 
Перцептрон 64,8% 98% 
ОСТ+КЕТ 64,8% - 
ЗУР-+КЕТ 55% 58% 60% 62,5% - 
ЗУ 55% 58% 59% 61% 32% 
КОТ/ЕЕТ+КТТ 52% 54% 57% 59,5% - 


Анализ на различных выборках и различном количестве классов показал, 
что уменьшение размера обучающей выборки, как путем отсечения части сигнала, 
или числа обучающих примеров приводит к существенному снижению точности 
распознавания отдельных классов. Так, отсечение половины сигнала или 
уменьшение объема обучающей выборки с 150 до 110 примеров (и обучающей с 
37 до 17 примеров), приводит к снижению точности до 40%; разбиение сигналов 
на окна половинной длины с шагом 5 отсчетов дало результаты -— 50,2%. 


Рис. 5. Представление исходных сигналов в пространстве собственных векторов 
(№ 2,3 и 4) преобразования КГ для всего сигнала (14 классов). 
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Причиной низкого процента распознавания, скорее всего, является плохая 
разделимость классов в пространстве первых трех-четырех собственных векторов 
интегральных преобразований (рис. 5). 


Выводы 


В результате исследований была получена обучающая выборка, содержащая 
187 примеров различных мимических выражений. Обучающая выборка 
использовалась в двух различных реализациях алгоритма классификации 
мимических выражений, использующую, в качестве обучающих примеров, 
состояния лица в отдельно взятый момент времени и для всего интервала 
мимического проявления для всех примеров. Результаты проверки алгоритмов 
классификации показали, что один отсчет данных может быть использован для 
априорной классификации мимических выражений на несколько базовых классов (от 
2 до 16 классов) на основе алгоритма однослойного перцептрона. Для получения 
хороших результатов работы алгоритма обучения на основе всего сигнала с 
использованием интегральных преобразований необходимо увеличение объема 
обучающей выборки и применение многослойной нейросети или другого типа 
классификатора. 

В дальнейших исследованиях предложено проверить алгоритмы 
классификации на отдельных микровыражениях и, на основе идентифицированных 
микровыражений, идентифицировать мимические выражения. 
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КЕЗОМЕ 


А.5. Тегпоу, У.А. Ки7пебоу, Га.У. КгаК 
Апа[у$15 07 Гас1а] ехргез$101$ оп а Витап Гасе 

РезсибеЯ ш Ше агисе аге Фе 5ерз оР ааа аса$оп ап4 сгеаноп ог #ас1а1 
ехргез$1оп$ апа[у51$ ЮО Базе оп с1азз1Ясайоп аеогиилз. ш огаег №0 2её 1е даа, 
Гасла| ехргез$1оп$ оЁ гее асбюгз \еге гесогае4 оп у14ео. ТВеп, у14еоз \сВ сощашеа 
Гасла| ехргезз1оп$ \еге ргосеззеа Бу сотрщег у1510оп а!еогИиа$. ш ог4ег №0 паргоуе 
еНесйуепез$ оЁ сотрщег у1510п а2огИ $ ш ргосеззште Фе у14ео даа, у14еоз апа 
тойоп даа асаитеа Нот езе а12огИБтз \еге ргосеззе4 Бу мо $%ер по1зе гедасНоп 
а1еотИбт, шса4е @еца| у14ео а Штег ап СиШпап ЯЦег. Мойоп Ааа, Фа 
езсиВе 1етрога| сВагасет$Ис$ оЁ Расла] ехргез$1оп$, Копте4 {еасВ ап4 сопго| ааа ог 
с1а551ИсаНоп а|2огИии$. 

ТВезе а]еогИбт$ шсГадеа 2 А1егеп{ уег$1оп$ оР аеогИил$. Вой уегз1оп$ 
пиретеще4 соташт 1-!ауег регсербоп; Фе таш @Шегепсе 1$ даа — Иг5ё уегз1оп 
ий[2е4 еуегу зшо]е Нате оЁ з1епа| аз эте]е {еасВ ог сопёго] даа еетепт, Фе зесопа 
ий7еа ОСТ, ЕЕТ, КГТ апа $УО Чдесотрозоп сое слеп оЁ упое з1юпа|, 
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езсиБе4 свапзе оРаП Ше Раса] Геабагез 4апие 1 у14ео Настепе. ОЁегеп {еасВ апа 
сопёго| даа зе{5 ууеге изе4 №ю {ез{ Фезе а[2огИил$; диапйбу о с1аз5ез Чегз — Нот 2 
0 16: а) 3 с|аззез - (розуе ап пегайуе Ё№сла| ехрге$$10оп$), Б) 5 саззез - 
«Баррштез$», «за4пез$», «ууоп4етпе», «апоег» и «Игедпез$»; с) 14 с1аз$ез; а) 16 
с1аз5ез. 

Кези5 оп {е5{ даёазе{5 ргооР {вай опе-ауег регсергоп сап Ъе еазПу аррПеа г 
зше Нате Ёасла| ехргез$1оп$ тагкег соот4таез УИ аааШу арргох. 98,7%, 
аои?В 4есотроз оп соеЁслетз (\№Ие ий7ше ОСТ, ЕЕТ, КЕТ апа ЗУБ 
десотроз!Шоп) ог \пое $1епа| отуе шеюосге дааШу — 64,8% оп Вубиа ОСТ-КГТ 
а] отита, зНо\/ Бейег гези $ гедге шсгеазе оЁ 4айазе{ 17е ап4 буре оЁ сЛазз1Йег. 

ТЬ$ гезеагсВ 15 ю Бе ежептае4 оп са| плсгоехргезз1оп$, \Ваё сап Бер ю 
с1аз$ Шу епйге Гасла] ехргез$10п$ Базе оп 14епийе4 Ёасла| писгоехргез1оп$. 


Ю.В. Крак, В.А. Кузнецов, А.С. Тернов 
Анал!з мм1чних проявв на обличч! людини 

У статт! описано етапи отримання даних 1 створення 1нструментв анал1зу 
мим1чних проявв за допомогою алгоритмв класиф1каци. Для цього було записано 
в1деофрагменти м!м!чних прояв!в для трьох р1зних актор!в. В1деофрагменти, як! 
м1стили м!м1чн! прояви, оброблялися алгоритмами комп’ютерного зору. 3 метою 
покращення роботи алгоритмв комп’ютерного зору було застосовано 
двостушнчастий алгоритм зниження шум!в у даних, що включав в себе алгоритм 
цифрово! стабллзаци в1део 1 флльтр Калмана. 

Отриман! числов! дан1, що мстили координати маркерйв на обличч! актора 
шд час мим!чного прояву для всх в1деофрагментв, формували навчальну 1 
контрольну виб1рки. Було створено 2 реал1заци алгоритму класиф\каци мм1чних 
виразв. Перша м!стила одношаровий перцептрон, навчений для чотирьох 
випадк!в: а) 3 класи «позитивн!» 1 «негативн!» мим!чн! вирази; 6) 5 класв — 
«радсть», «смуток», «подив», «злисть» 1 «втома»; в) 14 клас1в; г) 16 клас!в. Для 
навчання вибиралися стани маркер1в в окремо взятий промижок часу. Друга 
м1стила одношаровий перцептрон, що навчався на коефицентах 1нтегральних 
перетворень: Карунена-Лоева, косинусного, сингулярного розкладу 1 Фур’е. 
Коефиценти 1нтегральних перетворень розраховувались на основ! сташв маркерв 
на всьому 1нтервал! мим1чного прояву. 

У результат! експериментальноГ перевтрки алгоритмйв класиф1кацйи на 
виб1рках, що м!стили представникв р1зних класв м!м1чних виразв, отримано 
результат порядку 98,7% з використанням класиф\катора на баз1 перцептрона, що 
вказуе на можливсть класиф\каци мимчних виразлв на основ! одиничного в1длКу. 
При використанн! г1бридного алгоритму ОСТ-КГТ 1 класифлкатора на баз1 
перцептрона точн1сть склала 64,8%, що вказуе на необхднсть розширення 
навчально! вибтрки 1 вибору 1ншого типу класиф\каторив. 

Запропоновано переврити алгоритми класифлкаци на окремих мкровиразах 1, 
на основ! 1дентифкованих микровиразив 1дентифткувати мимчн! вирази. 
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